Vorn Vet sinh năm 1934 tại tỉnh Siêm Riệp thuộc tây bắc Campuchia trong một gia đình trung lưu.

Vào năm 1948, Vorn Vet học tại một trường trung học ở Battambang , năm 1952 thì bắt đầu học ở Phnom Penh. Đến năm 1953, Vorn Vet bắt đầu tham gia nhóm du kích Khmer Issarak chống Pháp do Sơn Ngọc Minh lãnh đạo.

Năm 1955 Vorn Vet di chuyển đến vùng Đông Bắc hoạt động và tại đây ông đã giai nhập nhóm Đông Bắc của Pol Pot, Ieng Sary và Son Sen.Ngày 21 tháng 2 năm 1963, Pol Pot đã đứng ra tổ chức đại hội Đảng công nhân Campuchia lần thứ hai và trở thành tổng Bí thư thay Tou Samouth (đã bị chính quyền Lon Nol ám sát năm 1962) và Vorn Vet đã được bầu làm thành viên thay thế (cùng với Son Sen sau khi Keo Meas và Non Suon bị loại khỏi ủy ban trung ương).